Bà được sinh ra ở Haddington, Đông Lothian với cha là David (mất năm 1758) và mẹ là Janet Young (nhũ danh Johnstone).[1] David Young từng được bổ nhiệm làm Tiến sĩ đầu tiên của Trường Phổ thông Haddington với công việc được chỉ định là “Vocall & Instrumental Musick” (nghệ sĩ thanh nhạc và nhạc cụ).[3] Sau đó bà đã trở thành hiệu trưởng của trường học này.[4] Anne là con út trong gia đình có 11 người con.[1] Anh trai bà, Walter Young cũng được biết đến với tư cách là một nhạc sĩ và nhà sưu tập bài hát chuyên nghiệp, là một người tư vấn của Robert Burns. Ông được phong làm mục sư Giáo hội Scotland vào năm 1769. Anne nói rằng khả năng âm nhạc của bà (đặc biệt là kiến thức về lý thuyết âm nhạc) được phát triển bởi cha và anh trai bà.[5]